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(57) Abstract: Redundant systems are often provided with iden- 
tically mounted processor boards which function according to a 
lockstep operation. The basic condition for the implementation 
of a lockstep system is the deterministic behaviour of all of the 
constituents contained in the board, such as CPUs, chip sets, main 
memory etc. According to the invention, deterministic behaviour 
signifies that said constituents supply identical results at identical 
times, in an error-tree case, when the constituents receive identi- 
cal stimuli at identical times. Deterministic behaviour also presup- 
poses the use of interfaces in clock-controlled synchronism. Asyn- 
chronous interfaces cause a certain temporal indeterminancy in the 
system in many cases, whereby the entire synchronised behaviour 
of the system cannot be maintained. In order to thus be able to 
carry out a lockstep operation, the invention relates to a method 
for the synchronisation of external events which are supplied to a 
processor (CPU) and influence the same. The external events are 
intermediately stored accordingly and the processors are presented 
at identical points in the execution of commands. Problems which 
are created by the capacity of modern processors to execute com- 
mands in parallel are avoided by the fact that the parallel execution 
of the processors is stopped before the desired point in the com- 
mand execution is reached and said point is then reached exactly 
in the single step mode. 

(57) Zusammenfassung: Fur redundante Systeme werden 
vielfach identisch aufgebaute Prozessorboards vorgesehen, die im 
Lockstep-Betrieb arbeiten. Die grundlegende Voraussetzung fur 
die Implementierung eines Lockstep Systems ist das determinis- 
tische Verhalten aller im Board enthaltenen Komponenten, also 
CPUs, Chip Sets, Hauptspeicher etc. Deterministisches Verhalten 
bedeutet dabei, daB diese Komponenten im fehlerfreien 
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Fall identische Ergebnisse zu identischen Zeitpunkten liefern, wenn die Komponenten identische Stimuli zu identischen Zeitpunkten 
erhalten. Deterministisches Verhalten setzt ferner die Verwendung taktsynchroner Schnittstellen voraus. Asynchrone Schnittstellen 
bewirken im System in vielen Fallen eine gewisse zeitliche Unscharfe, wodurch das taktsynchrone Gesamtverhalten des Systems 
nicht aufrecht erhalten weiden kann. Um dennoch einen Lockstep-Betrieb durchfiihren zu konnen, sieht die vorliegende Erfindung 
ein Verfahren zur Synchronisation externer Ereignisse, die einem Prozessor (CPU) zugefuhrt werden und diesen beeinflussen, vor, 
demgemaB die externen Ereignisse zwischengespeichert werden, und den Prozessoren an identischer Stelle in der Befehlsausfuhrung 
prasentiert werden, wobei Probleme, die durch die Fahigkeit moderner Prozessoren, Befehle parallel abzuarbeiten, entstehen, ver- 
mieden werden, indem die Parallelausfuhrung der Prozessoren vor Erreichen der gewiinschten Stelle in der Befehlsabarbeitung 
unterbunden und anschlieBend im Single-Step-Modus diese Stelle exakt erreicht wird. 
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Beschreibung 

Verfahren zur Ereignissynchronisation, insbesondere fur Pro- 
zessoren f ehlertoleranter Systeme 

5 

In Telekommunikationssystemen, in Data-Centern und anderen 
hochverfugbaren Systemen werden in vielen Fallen bis zu eini- 
gen Hundert sogenannter Prozessorboards eingesetzt, urn die 
erforderliche Rechenleistung vorzusehen. Ein solches Prozes- 
10 sorboard besteht typischerweise aus einem Prozessor bzw. ei- 
ner CPU (Central Processing Unit), einem Chip Set, Hauptspei- 
cher und Peripheriebausteinen. 

Die Wahrscheinlichkeit des Auftretens eines Hardware -Defektes 
15 eines typischen Prozessorboards pro Jahr liegt im einstelli- 
gen Prozentbereich . Aufgrund der grofien Anzahl zu einem Sys- 
tem zusammengefafiter Prozessorboards ergibt sich eine auf den 
Jahreszeitraum bezogene sehr hohe Wahrscheinlichkeit eines 
Ausfalls einer beliebigen Hardware -Komponente, wobei ein sol- 
20 cher Einzelausf all , falls geeignete Vorkehrungen nicht ge- 

troffen werden, den Ausfall des gesamten Systems hervorrufen 
kann . 

Insbesondere an Telekommunikat ions systeme , in zunehmendem Ma- 
25 fie auch an Data-Center, wird die Forderung nach einer hohen 
Systemverfugbarkeit gestellt. Diese wird beispielsweise in 
Prozent ausgedruckt, oder es wird die maximal zulassige Aus- 
fallzeit pro Jahr angegeben. Typische Anf orderungen sind z.B. 
eine Verf ugbarkeit von >99.999% bzw. eine Nichtverf iigbarkeit 
30 von hochstens einigen Minuten im Jahr. Da ublicherweise der 

Austausch eines Prozessorboards und die Wiederherstellung des 
Dienstes im Falle eines Hardwaredef ektes eine Zeit bean- 
sprucht, die im Bereich einige 10 Minuten bis einige Stunden 
liegt, miissen fur den Fall eines Hardwaredef ektes auf System- 
35 ebene entsprechende Vorkehrungen getroffen werden, um die 
Forderung nach der Systemverfugbarkeit erfullen zu konnen. 
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Bekannte Losungen zur Einhaltung solch hoher Anf orderungen an 
die Systemverfugbarkeit sehen redundante Systemkomponenten 
vor. Die bekannten Verfahren lassen sich in zwei hauptsachli- 
che Gruppen einteilen: sof twarebasierte Verfahren und hard- 
5 warebasierte Verfahren. 

Bei softwarebasierten Verfahren wird typischerweise eine 
Middleware eingesetzt. Die sof twarebasierte Losung erweist 
sich jedoch als wenig flexibel, da lediglich diejenige (Ap- 

10 plikations-) Software in einem solchen System eingesetzt wer- 
den kann, die fur dieses besondere Redundanzschema entwickelt 
wurde. Dies schrankt das Spektrum einsetzbarer (Applikations- 
) Software erheblich ein. Dariiber hinaus ist die Entwicklung 
von Applikationssof tware f ur ' Sof twareredundanzprinzipien in 

15 der Praxis auSerst aufwendig, wobei die Entwicklung zusatz- 
lich ein kompliziertes Testverf ahren nach sich zieht. 

© 

Das Grundprinzip hardwarebasierter Verfahren beruht darauf , 
die Redundanz auf Hardwareebehe zu kapseln, so daS dies fur 

2 0 die Software transparent ist. Der wesentliche Vorteil einer 

von der Hardware selbst verwalteten Redundanz ist der, daS 
die Applikationssof tware durch das Redundanzprinzip nicht be- 
eintrachtigt wird und somit in den meisten Fallen jede belie- 
bige Software zum Einsatz kommen kann. 

Ein in der Praxis haufig anzutref f endes Prinzip fur hardware- 
f ehlertolerante Systeme, deren Redundanz fur die Software 
transparent ist, ist das sogenannte Lockstep-Prinzip . 
Lockstep bedeutet, daS identisch aufgebaute Hardware, z.B. 

3 0 zwei Boards, gleichartig taktsynchron betrieben werden. Durch 

Hardwaremechanismen wird sichergestellt , daS die redundante 
Hardware zu einem gegebenen Zeitpunkt identische Eingangssti- 
muli erfahrt und dadurch zu identischen Ergebnissen kommen 
muS. Die Ergebnisse der redundanten Komponenten werden ver- 
35 glichen, im Fall einer Abweichung wird ein Fehler festge- 

stellt und geeignete MaSnahmen werden eingeleitet (Alarmie- 
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rung an das Bedienpersonal , partielle oder vollstandige Si- 
cherheitsabschaltung, Systemneustart ) . 

Die grundlegende Voraussetzung fur die Implement ierung eines 
5 Lockstep-Systems ist das taktweise deterministische Verhalten 
aller im Board enthaltenen Komponenten, also CPUs, Chip Sets, 
Hauptspeicher etc. Taktweise deterministisches Verhalten be- 
deutet dabei, daS diese Komponenten im fehlerfreien Fall i- 
dentische Ergebnisse zu identischen Takt-Zeitpunkten liefern, 

10 wenn die Komponenten identische Stimuli zu identischen Takt- 
Zeitpunkten erhalten. Taktweise deterministisches Verhalten 
setzt ferner die Verwendung taktsynchroner Schnittstellen 
voraus. Asynchrone Schnittstellen bewirken im System in vie- 
len Fallen eine gewisse zeitliche Unscharfe, wodurch das 

15 taktsynchrone Gesamtverhalten des Systems nicht aufrecht er- 
halten werden kann. 

Gerade fur Chip Sets und CPUs bieten asynchrone Schnittstel- 
len jedoch technologische Vorteile bei der Erhohung der Leis- 

2 0 tungsfahigkeit, wodurch eine taktsynchrone Betriebsweise nach 
dem Lockstep-Verfahren unmoglich wird. Zudem verwenden moder- 
ne CPUs zunehmend Mechanismen, die eine taktsynchrone Be- 
triebsweise unmoglich machen. Dies sind beispielsweise inter- 
ne, nach auSen nicht sichtbare KorrekturmaSnahmen, z.B. Kor- 

2 5 rektur eines internen, korrigierbaren Fehlers beim Zugriff 
auf den Cache-Speicher , die zu einer geringf ugigen Verzoge- 
rung der Bef ehlsabarbeitung fuhren konnen, oder die spekula- 
tive Ausfuhrung von Befehlen. Ein weiteres Beispiel ist die 
zukunftig zunehmende Implement ierung von CPU- internen takt- 

30 freien Ausf uhrungseinheiten, die erhebliche Vorteile hin- 
sichtlich Geschwindigkeit und Verlustleistung ermoglichen, 
jedoch ein taktsynchrones bzw. deterministisches Arbeiten der 
CPU verhindern. 

35 Die europaische Patentanmeldung 02020602 offenbart ein Ver- 

fahren zur Synchronisation externer Ereignisse, die einer CPU 
zugefiihrt werden und diese beeinf lussen, demgemaS die exter- 
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nen Ereignisse zwischengespeichert werden, wobei die gespei- 
cherten externen Ereignisse in einem gesonderten Betriebsmo- 
dus der CPU zur Verarbeitung durch eine Ausf uhrungseinheit 
abgerufen werden und wobei die CPU in diesen Betriebsmodus 
5 ansprechend auf die Erfullung einer durch Befehle vorgebbaren 
oder fest vorgegebenen Bedingung eintritt. Dieses Verfahren 
wird auch "emulierter Lockstep Betrieb" genannt . 

Vorteilhaft sieht die EP 02020602 vor, daS der Wechsel in den 
10 gesonderten Betriebsmodus ausgefuhrt wird, falls durch ein 
Komparatorelement der CPU die Ubereinstimmung eines Zahlers 
mit einem Maximum Instruction Register (MIR) ermittelt wird, 
wobei der Inhalt des MIR durch Befehle vorgebbar ist und der 
Zahler die Anzahl der durch die Ausf uhrungseinheit ausgefuhr- 
15 ten Instruktionen seit dem letzten Wechsel in den gesonderten 
Betriebsmodus enthalt . 

Moderne CPUs lassen sich jedoch nicht so stoppen, da£ sie 
nach einer exakten Anzahl von Instruktionen anhalten. Dies 

20 liegt darin begrundet, daS mehrere Instruktionen parallel ab- 
gearbeitet werden konnen, die zu einem gemeinsamen Zeitpunkt 
abgeschlossen werden. So konnen beispielsweise in einem Takt 
99 Instruktionen auf alien redundanten CPUs abgearbeitet 
sein, im nachsten Takt sind es beispielsweise aufgrund unter- 

25 schiedlicher Ausfuhrung dann auf einer CPU 100 Instruktionen, 
auf einer anderen jedoch 101 Instruktionen. Ein externes Er~ 
eignis, z.B. ein Interrupt, kann so nicht an identischen 
Stellen in der Bef ehlsausf uhrung prasentiert werden. 

3 0 Es ist eine Aufgabe der vorliegenden Erfindung, ein Verfahren 
anzugeben, mit dem externe Ereignisse auch dann an gleichen 
Stellen in der Bef ehlsausf uhrung redundanter CPUs prasentiert 
werden, wenn das Anhalten der redundanten CPUs nach Ausfuh- 
rung ein und derselben Instruktion nicht gesichert moglich 

35 ist. 
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Diese Aufgabe wird durch ein Verfahren zur Synchronisation 
externer Ereignisse gemaS der Merkmale des Patentanspruchs 1, 
durch einen Prozessor gemaS der Merkmale des Patentanspruchs 
6 und durch ein System gemaS der Merkmale des Patentanspruchs 
5 7 geldst. Vorteilhafte Weiterbildungen sind in den abhangigen 
Anspruchen angegeben. 

Erf indungsgemaS wird ein Verfahren zur Synchronisation exter- 
ner Ereignisse, die einem Baustein CPU zugefuhrt werden und 
10 diesen beeinf lussen, wobei der Baustein CPU zur parallelen 

Abarbeitung von einer ersten Anzahl von Instruktionen vorge- 
sehen ist, vorgesehen, 
- demgemaS die externen Ereignisse zwischengespeichert wer- 
den, wobei die gespeicherten externen Ereignisse in einem 
15 gesonderten Betriebsmodus des Bausteins zur Verarbeitung 

durch zumindest eine Ausf uhrungseinheit EU des Bausteins 
abgerufen werden und 

wobei der Baustein in diesen Betriebsmodus nach Abarbei- 
tung einer vorgebbaren zweiten Anzahl MIC von Instruktio- 

20 nen eintritt, indem 

ein Zahler (IC) die Anzahl der durch die Ausf uhrungsein- 
heit ausgefiihrten Instruktionen seit dem letzten Verlas- 
sen des gesonderten Betriebsmodus ermittelt, 
der Baustein in einen Einzelbef ehlsausf uhrungsmodus ver- 

25 setzt wird, falls der Zahler IC groSer oder gleich der 

Differenz aus der zweiten Anzahl von Instruktionen und 
einer dritten Anzahl MD von Instruktionen, die aus der 
ersten Anzahl von Instruktionen ermittelt wird, ist, 
der Baustein im Einzelbef ehlsausf uhrungsmodus verbleibt, 

3 0 bis der Zahler IC die zweite Anzahl MIC von Instruktionen 

erreicht, woraufhin der Baustein in den gesonderten Be- 
triebsmodus wechselt und bei Verlassen des gesonderten 
Betriebsmodus der Zahler IC neu initialisiert wird. 

35 Die genannte dritte Anzahl von Instruktionen ist dabei an der 
maximalen Anzahl der parallel ausgefiihrten Instruktionen ori- 
entiert und dient dem Ausgleich der erlauterten Unscharfe 
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beim Anhalten von CPUs mit der Fahigkeit zur parallelen Abar- 
beitung von Instruktionen. Die dritte Anzahl wird vorzugswei- 
se als gleich oder groSer der ersten Anzahl maximal parallel 
ausgefuhrter Instruktionen gewahlt. 

5 

In redundanten Systemen, die zumindest zwei Bausteine CPU 
aufweisen, wird eine identische Folge von Instruktionen fur 
die Bausteine CPU vorgesehen, und durch die Bausteine werden 
im gesonderten Betriebsmodus identische externe Ereignisse 
10 abgerufen. Ein schnellerer Baustein CPU wird durch eine Steu- 
erung im gesonderten Betriebsmodus belassen, bis ein langsa- 
merer Baustein das Ende des gesonderten Betriebsmodus er- 
reicht hat. 

15 Das erf indungsgemaSe Verfahren kann durch eine Software, 

durch Microcode oder durch spezialisierte Hardware realisiert 
werden. Bei einer Uberwachung des Zahlers IC durch ein Uber- 
wachungssof twaremodul wird die Anzahl der durch das Uberwa- 
chungssof twaremodul verursachten ausgefuhrten Instruktionen 

20 gesondert erfaSt und vom Zahler IC subtrahiert . 

Die Erfindung sieht ferner einen Prozessorbaustein CPU vor, 
der zumindest folgendes aufweist: 

- mindestens eine Ausf iihrungseinheit EU, 

2 5 - mindestens ein Zahlerelement IC zum Zahlen der durch die 

Ausfuhrungseinheit ausgefuhrten Instruktionen seit dem 
letzten Wechsel in einen gesonderten Betriebsmodus, 

- mindestens ein Register element MIR, dessen Inhalt MIC 
durch Befehle vorgebbar oder fest vorgegeben ist, 

3 0 - mindestens ein Komparatorelement K und mindestens ein 

Steuerelement S zum Umschalten der Ausf iihrungseinheit EU 
in einen Einzelbef ehlsausf iihrungsmodus ansprechend auf 
das Erreichen eines vorgebbaren Wertes, der kleiner als 
der Wert des Registerelementes MIR ist, durch das Zahl- 
35 element IC, und zum Umschalten der Ausf iihrungseinheit in 

den gesonderten Betriebsmodus ansprechend auf die Uber- 
einstimmung des Zahlelementes IC mit dem Registerelement 
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MIR, wobei in dem gesonderten Betriebsmodus zwischenge- 
speicherte, dem Prozessorbaustein CPU zuzuf uhrende exter- 
ne Ereignisse, die den Prozessorbaustein CPU beeinflus- 
sen, durch den Prozessorbaustein CPU abgerufen werden. 

5 

Mehrere dieser Prozessoren kdnnen vorteilhaft zu einem System 
zusammengefaSt werden, wobei das System zusatzlich eine Ver- 
bindung L0, LI zwischen zumindest zwei der Prozessorbausteine 
CPU, die eine identische Instruktionsf olge ausfuhren, auf- 
10 weist, wobei die Verbindung zum Ubertragen von Synchronisati- 
onsinf ormationen der gesonderten Betriebsmodi vorgesehen ist. 

Ein wesentlicher Vorteil der Erfindung ist darin zu sehen, 
daE die Verwendung beliebiger neuer oder bestehender Software 

15 auf einer hardwaref ehlertoleranten Plattform ermoglicht wird, 
wobei in dieser Plattform eine die Erfindung unterstutzende 
CPU zum Einsatz kommen kann, ohne dafi die Forderung nach 
taktsynchroner, deterministischer Arbeitsweise der CPU be- 
steht und wobei die Verwendung asynchroner Hochgeschwindig- 

20 keitsschnittstellen bzw. Links moglich ist. Dabei tragt die 

Erfindung dem Umstand Rechnung, dafi sich moderne CPUs mit Fa- 
higkeiten zur parallelen Abarbeitung von Instruktionen nicht 
in jedem Fall nach einer exakten Anzahl von Instruktionen an- 
halten las sen . 

'25 

Weitere Vorteile sind: 

- Die zueinander redundanten Boards und CPUs mussen nicht 
phasenstarr gekoppelt betrieben werden. 

- Die CPUs mussen nicht identisch. sein, sie mussen ledig- 

3 0 lich nach der gleichen Anzahl abgearbeiteter Maschinenin- 

struktionen anhalten und den Betriebsmodus wechseln. 

- Die CPUs kdnnen mit unterschiedlichen Taktf requenzen be- 
trieben werden. 

- Die CPUs kdnnen sich unterschiedlich in Bezug auf die 
35 spekulative Ausfuhrung von Instruktionen verhalten, da 

nur die komplettierten Instruktionen bewertet werden. 
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- Unterschiedliche CPU- interne Ausf lihrungszeiten identi- 

scher CPUs, z.B. aufgrund von Korrekturen nach dem daten- 
verf alschendem Auftreten von Alpha-Teilchen, fuhren le- 
diglich dazu, daS der Synchronisationsmodus zu geringfu- 
5 gig unterschiedlichen Zeitpunkten erreicht wird. 

Im folgenden wird ein Ausf uhrungsbeispiel der Erfindung im 
Zusammenhang mit drei Figuren naher erlautert . 

10 Figur 1 zeigt ein Ablauf schema des erf indungsgemalSen Verfah- 
rens . 

Figur 2 zeigt schematisch einen erf indungsgemafien Prozessor- 
baustein. 

Figur 3 zeigt schematisch ein erf indungsgemafies System beste- 
15 hend aus zwei Prozessorbausteinen gemaS Figur 2. 

In Figur 1 ist das erf indungsgemaSe Verfahren als Ablaufsche- 
ma graphisch dargestellt. Vor Beginn des Ablauf s mussen fol- 
gende Werte festgelegt bzw. i'ni tialisiert sein: 
2 0 - Ein Zahler IC (Instruction Counter) , der die Anzahl der 

durch die CPU abgearbeiteten Instruktionen bzw. Maschi- 

nenbefehle enthalt. 

- Eine Anzahl MIC (Maximum Instruction Counter) von In- 

struktionen, nach welcher die CPU in den besonderen Be- 
25 triebsmodus zur Abarbeitung von externen Ereignissen 

wechseln soil. 

- Eine Anzahl MD (Maximum Deviation) von Instruktionen, die 
die maxitnal aufgrund von Parallelitat der. Bef ehlsausf uh- 
rung auftretende Unscharfe des Anhaltens der CPU beruck- 

30 sichtigt. 

Der Ablauf beginnt damit , daS der aktuelle Wert des Befehls- 
zahlers IC mit der Differenz aus den Werten MIC und MD ver- 
glichen wird (Block 11) . Ist der Wert des Bef ehlszahlers ge- 
35 ringer als diese Differenz, wird die Bef ehlsabarbeitung im 

normalen Betriebsmodus fortgesetzt; die parallele Ausfuhrung 
von Instruktionen ist moglich. 
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Erreicht oder uberschreitet der Wert des Bef ehlszahlers die 
Differenz aus MIC und MD, wird ein Register d mit der Diffe- 
rent aus MIC und MD geladen (Block 12) , und der Ablauf tritt 
5 in eine Schleife ein, an deren Beginn eine Abfrage steht, ob 
das Register d den Wert MIC erreicht hat (Block 13) . In die- 
ser Schleife erfolgt die Bef ehlsabarbeitung im Einzelschritt- 
modus bzw. Single Step Mode. 

10 Solange der Wert d den Wert MIC nicht erreicht, wird in jedem 
Schleifendurchlauf eine einzelne Instruktion ausgefuhrt 
(Block 14) und der Wert d inkrementiert (Block 15) , bevor die 
Schleifenbedingung (Block 13) erneut gepruft wird. Durch die- 
ses Vorgehen wird sichergestellt , daS trotz im Normalbetrieb 

15 paralleler Bef ehlsabarbeitung das Eintreten in den gesonder- 
ten Betriebszustand exakt nach MIC Instruktionen erfolgt. 

Falls der Wert d den Wert MIC erreicht (Block 13) , tritt der 
Ablauf in den gesonderten Betriebsmodus ein. Der gesonderte 

2 0 Betriebsmodus uberpruft zunachst, pb wahrend der Abarbeitung 
der MIC Befehle eine Interruptanf orderung eingetrof fen ist 
und zur gleichzeitigen Abarbeitung durch alle redundanten 
CPUs zwischengespeichert wurde (Blocke 16/17) . Sind Interrup- 
tanf orderungen eingetrof fen, werden diese abgearbeitet (Block 

2 5 18) , wobei diese Abarbeitung durch alle redundanten CPUs an 

identischer Stelle in der Programmabarbeitung erfolgt und al- 
le Register, Speicherinhalte, . . identisch sind. Dieser 
Schritt wird- tibersprungen, falls keine Interruptanf orderungen 
vorliegen. 

30 

Der gesonderte Betriebsmodus wird beendet, und der normale 
Betriebsmodus mit paralleler Verarbeitung von Instruktionen 
wird nach dem Riicksetzen des Bef ehlszahlers IC (Block 19) 
wieder aufgenommen. Eine Interruptanf orderung kann dann bear- 
35 beitet werden. Der Abarbeitung der Interruptroutine erfolgt 
nicht im gesonderten Betriebsmodus, sondern im normalen Mo- 
dus. Lediglich das Einlesen des Interruptvektors erfolgt im 



WO 2004/034261 



•CT/EP2003/008794 



10 

besonderen Betriebsmodus, danach wird der besondere Mode wie- 
der verlassen. Ob der Interrupt dann bearbeitet wird, hangt 
z.B. davon ab, ob zu diesem Zeitpunkt gerade Interrupts er- 
laubt sind. Interrupts sind nicht erlaubt, wenn gerade ein 
5 interrupt bearbeitet wird und/oder ein "Interrupt Flag" ge- 
loscht ist. 

Anhand des dargestellten Ablaufs kann das erf indungsgemaiSe 
Verfahren direkt als Instruktionsf olge , d.h. als Software, 

10 implementiert werden. Dabei sorgt die Software dafur, daS ein 
Interrupt an identischen Stellen der Bef ehlsausfuhrung mehre- 
rer Prozessoren prasentiert wird, indem ein Instruktionszah- 
ler in der CPU so programmiert wird, daS er eine Exception, 
z.B. Debug -Except ion, oder einen hochprioren, nicht sperrba- 

15 ren Interrupt, z.B. den nichtmaskierbaren Interrupt NMI, nach 
der gewunschten Zahl MIC von abzuarbeitenden Instruktionen 
abzuglich der "Anhalteunscharf e " MD verursacht . Beispielswei- 
se wird der Zahler IC bei einer Unscharfe von MD=3 Instrukti- 
onen und einer gewunschten Zahl von MIC=1000 Instruktionen 

20 mit 1000-3+1=998 programmiert. Die CPU wird, in Abhangigkeit 
der internen Bundelung von Instruktionen, also nach IC=998 
oder IC=999 oder IC=1000 Instruktionen anhalten. Die darauf- 
hin ausgefuhrte Software liest den Instruktionszahler aus, urn 
festzustellen, an welcher Stelle der Prozessor tatsachlich 

25 angehalten hat. Dabei ist diese Software so beschaffen, daS 
die Ausfuhrung der eigenen Instruktionen entsprechend korri- 
giert wird. Falls die Software feststellt, daS die CPU nach 
beispielsweise 999 Instruktionen angehalten hat, wird die ge- 
wunschte lOOOste Instruktion per Single-Step Betrieb, gesteu- 

30 ert durch die Except ion- Sof tware , nachtraglich ausgefuhrt. 
Dies geschieht bei alien redundanten CPUs, so daS alle CPUs 
anschlieSend an der identischen Stelle im Code angehalten 
wurden . 

35 An dieser Stelle mug der/den CPU/ CPUs eine eventuell vorhan- 
dene Interruptanf arderung prasentiert werden. Hierzu gibt es 
beispielsweise folgende Moglichkeiten : 
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- Die CPU kann ein Register des Interrupt -Controllers aus- 
lesen, woraufhin dieser ein maskiertes Interrupt signal 
freigibt. Die CPU erkennt anhand dieses Interruptsignals 
eine Interruptanf orderung und sendet einen Interrupt 
Acknowledge Zyklus zum Interrupt -Control ler . Der Inter- 
rupt -Controller liefert daraufhin den Interruptvektor und 
maskiert das Interruptsignal wieder. 

- Alternativ kann die Software ein Register lesen, dessen 
Wert bereits die Information uber die Art des Interrupts 
liefert, d.h. den Interruptvektor. AnschlieSend lost die 
Software selbst den entsprechenden Interrupt (per Soft- 
ware) aus, falls Interrupts zu diesem Zeitpunkt in der 
Bef ehlsabarbeitung erlaubt sind. 

Ferner kann der Ablauf auch in Form von Microcode -Anweisungen 
realisiert werden. Moderne CPUs weisen in vielen Fallen weit- 
gehende Moglichkeiten auf, mittels Microcode die Befehlsaus- 
fuhrung zu steuern. Diese Moglichkeiten werden haufig bei- 
spielsweise dazu verwendet, Design-Fehler zu beheben bzw. zu 
umgehen . 

Fur den Zweck des erf indungsgema&en Verfahrens wird der Mic- 
rocode so geandert, daS die CPU nach der gewiinschten Zahl von 
abzuarbeitenden Instruktionen MIC abziiglich der "Anhalteun- 
2 5 scharfe 1 ' MD die normale Bef ehlsausf uhrung unterbricht und in 
den Microcode verzweigt. Der Microcode liest die Anzahl aus- 
gefuhrter Instruktionen IC aus und steuert die Ausfuhrung per 
Single -Step so an, daS die Bef ehlsausf uhrung an der gewiinsch- 
ten Stelle MIC angehalten wird. 

30 

An dieser Stelle muS der/den CPU/ CPUs wiederum eine eventuell 
vorhandene Interruptanf orderung prasentiert werden. Hierzu 
gibt es ebenfalls mehrere Moglichkeiten: 

- Ein per Microcode maskiertes Interruptsignal wird per 
35 Microcode freigegeben, und falls ein Interrupt anliegt, 

wird die CPU in die entsprechende Interruptrout ine ver- 
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zweigen. Anschliefiend wird der Interrupt wieder per Mic- 
rocode maskiert . 
- Alternativ kann die CPU veranlafit werden, einen Interrupt 
Acknowledge Zyklus zu generieren und einen Interruptvek- 
5 tor zu lesen. Dieser wird dann per Microcode der CPU so 

prasentiert, dafi diese nach dem Verlassen des gesonderten 
Modus in die entsprechende Interrupt routine verzweigt. 

Ferner kann eine Implement ierung in der Codeubersetzungssof t- 
10 ware erfolgen. Einige CPUs verfugen uber einen einfachen, a- 
ber sehr schnellen, meist superskalaren RISC- oder VLIW- 
Prozessor Kern, Der eigentliche Befehlsatz, z.B. IA-32, wird 
durch eine Codeubersetzungssof tware in einen einfachen Code 
transf ormiert und vom RISC-/VLlW-Prozessor ausgef iihrt . In 
15 diesem Falle fuhrt die Code Uber set zungssof tware die Aufgabe 
des Verfahrens aus, analog der Implement ierung in Microcode. 
Die Presentation der Interruptanf orderungen erfolgt wie bei 
der Microcode- Implementierung . 

2 0 Die ef f izienteste Implementierung des erf indungsgemaSen Ver- 
fahrens ist eine Hardwareimplement ierung, dargestellt in Fi- 
gur 2 . Hierbei wird von einer prozessorinternen Hardwareein- 
heit S die parallele Bef ehlsausf uhrung an der gewunschten 
Stelle abzuglich Unscharfe angehalten, der Instruktionszah- 

25 lerstand IC ermittelt, und die Ausf uhrungseinheit EU wird von 
der prozessorinternen Hardwareeinheit S mittels Single-Step 
bzw. Einzelschritt ES an die gewiinschte Stelle im Code heran- 
gefuhrt. Der- wesentliche Vorteil dieses Verfahrens ist der 
erheblich reduzierte negative Perf ormance-Einf luS. 

30 

Figur 2 zeigt einen erf indungsgemaSen Prozessorbaustein CPU 
in einer schematischen Darstellung. Dabei sind nur die fur 
diese Erfindung relevanten Bestandteile dargestellt. Die CPU 
umfafit eine oder mehrere Ausf uhrungseinheiten EU, mindestens 
35 einen Komparator K, mindestens einen Zahler IC zum Zahlen der 
durch die Ausf uhrungseinheit EU ausgefuhrten Instruktionen, 
eine Steuerung S und mindestens ein Registerelement MIR, des- 
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sen Inhalt durch Befehle vorgebbar . oder fest vorgegeben sein 
kann. Ferner sind Verbindungen von/ zu einem Interrupt register 
(Figur 3) schematisch dargestellt. 

5 Die den Programmablauf beeinf lussenden externen Ereignisse 
werden der CPU nicht direkt zugefuhrt, sondern von einer ge- 
eignet gestalteten Hardware zunachst gepuffert. Die Umsetzung 
des Verfahrens kann in der in Figur 2 dargestellten CPU er- 
folgen, indem das Register MIR mit der Differenz aus dem Wert 

10 MIC und dem Wert MD geladen wird. Der Komparator K vergleicht 
die Zahl der ausgefuhrten Operationen mit diesem Registerwert 
und signalisiert das Ergebnis dieses Vergleichs an die Steue- 
rungseinheit S. Alternativ kann der Komparator auch nur ein 
Ereignis an die Steuerung ubermitteln, das generiert wird, 

15 wenn der Wert des IC den Wert des MIR erreicht hat. 1st die- 
ses Ereignis eingetreten oder wurde Gleichheit der beiden Re- 
gister signalisiert, fragt die Steuerung S den Bef ehlszahler 
nochmals ab, urn die Zahl der tatsachlich ausgefiihrten In- 
struktionen zu lesen. Da im MIR durch das Laden mit dem Wert 

2 0 MIC-MD die Unscharfe bereits berucksichtigt wurde, kann durch 

die Steuerung ein Einzelschrittmodus, signalisiert uber die 
Leitung ES an die Ausf iihrungseinheit , die Ausfiihrung von In- 
struktionen einzeln veranlassen, bis der Wert des Befehlszah- 
lers den vorgegebenen Wert MIC erreicht. Die Steuerung S ver- 
25 fugt dazu uber die Moglichkeit, den Bef ehlszahler IC zu in- 
krementieren, sofern der Bef ehlszahler die im Single-Step 
ausgefuhrten Instruktionen nicht automatisch zahlt. 

Die Steuerung S jeder redundant en CPU erzeugt ein Inter- 

3 0 ruptfreigabesignal IF, das einetn Interruptbaustein zugefuhrt 

wird. Daraufhin wird alien redundanten CPUs eine gegebenen- 
falls zwischengespeicherte Interruptanf orderung uber die In- 
terruptleitung INT gemeldet. 

35 Alternativ dazu erzeugt die Steuerung S einen Interrupt fur 
die eigene CPU, wotaufhin die Ausf uhrungseinhei ten einen In- 
terrupt Acknowledge Zyklus zum Interruptbaustein senden, 
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falls Interrupts zu diesem Zeitpunkt in der Bef ehlsabarbei- 
tung erlaubt sind. 

In einer weiteren Alternative wird durch die Steuerung S ein 
Interruptfreigabesignal IF erzeugt, welches dem Sinn nach mit 
dem Interruptsignal INT UND-verknupf t wird, d.h. die Schal- 
tungslogik ist entsprechend zu wahlen, falls invertierte Sig- 
nale vorliegen oder falls das Interruptsignal auf mehreren 
Leitungen prasentiert wird. Das Interruptfreigabesignal kann 
ebenfalls nach auSerhalb der CPU z.B. an das Interrupt re- 
gister ubermittelt werden. Eventuell an der Interruptleitung 
INT anliegende Interrupts werden somit freigegeben, und die 
gewohnliche Interruptbehandlung kann erfolgen, z.B. Lesen des 
Interruptvektors, Ausfuhren der .Interruptroutine usw. 

Vor der Interruptbehandlung wird die Aufhebung des Einzel- 
schrittmodus und des gesonderten Betriebsmodus und die Fort- 
setzung der Bef ehlsabarbeitung im Normalmodus an die Ausfuh- 
rungseinheit signalisiert , und der Bef ehlszahler wird uber 
ein Signal CL zuruckgesetzt . Die Steuerung kann direkt als 
Hardware oder in Form von Microcode realisiert sein. 

In Figur 3 wird schlieSlich eine Zusammenschaltung zweier 
CPUs gemaS vorstehender Beschreibung im Zusammenhang mit Fi- 
25 gur 2 gezeigt. Dabei sind der erste Prozessor CPUO und der 
zweite Prozessor CPU1 ohne die Details aus Figur 2 darge- 
stellt. Die Prozessoren tauschen jeweils Adressen und Daten 
uber einen Bus A/D mit zugeordneten Interruptbausteinen, die 
u.a. Interrupt register IRO, IR1 umfassen, aus. Die Interrupt - 
30 bausteine empfangen Interrupts INT1 . . INTn beispielsweise von 
Eingabe/Ausgabebaust einen I/O, speichern entsprechende Kenn- 
daten und leiten die Interrupts INT an die Prozessoren wei- 
ter. 



35 



Erf indungsgemaS werden die Interrupts durch die Prozessoren 
nur an bestimmten Stellen der Bef ehlsausf uhrung akzeptiert. 
Dies ist ausfuhrlich im Zusammenhang mit Figur 2 beschrieben. 
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Das in diesem Zusammenhang erlauterte Interrupt freigabesignal 
kann auSerdem verwendet werden, um dem jedem Prozessor zuge- 
ordneten Interruptbaustein zu signal isieren, dafi die Inter- 
ruptbehandlung begonnen werden kann. Die Interrupt bausteine, 
5 die uber Verbindungen LO, LI verbunden sind, konnen diese In- 
formationen austauschen und die Interruptbehandlung ihrer- 
seits erst dann z.B. durch Ubermitteln des Interruptvektors 
an die Prozessoren freigeben, wenn alle Prozessoren ein In- 
terrupt freigabesignal erzeugen. 

10 

In einer Alternative kann es sich als vorteilhaft erweisen, 
die CPUs nicht an einer vordef inierte Stelle MIC der Be- 
f ehlsausf uhrung anzuhalten, sondern an einer mit der Unschar- 
fe der parallel abarbeitbaren Befehle behafteten Stelle, und 

15 dann die zuruckliegenden Prozessoren per Single Step an die 
Stelle der Bef ehlsausf iihrung heranzufuhren, an der derjenige 
Prozessor angehalten hat, der in der Bef ehlsausf uhrung am 
weitesten f ortgeschritten ist. Hierzu ist eine Kommunikation 
zwischen den Prozessoren erf orderlich . Diese kann beispiels- 

2 0 weise so erfolgen, date jeder Prozessor die Stelle, an der er 
selbst angehalten hat, in ein Hardware -Register schreibt und 
anschlieSend zuruckliest. Das Register wartet bis alle Pro- 
zessoren ihren Wert geschrieben haben und liefert als Leseda- 
tum den hochsten Wert zuriick. Falls erf orderlich, gleichen 

25 dann alle. Prozessoren ihren Stand der Bef ehlsausf uhrung per 

Single-Step an. Die Interruptanf orderung wird den Prozessoren 
dann wie oben beschrieben prasentiert. 

CPUs, die iiber SMT (Simultaneous Multi Threading) Fahigkeiten 
30 verfugen, . rmissen eine separate Steuerung fur jede virtuelle 
CPU bzw. jeden Thread verfugen. 

Ferner weist die CPU den Komparator oder Vergleicher K auf , 
der die Anzahl der ausgefiihrten Befehle, also den Zahler IC, 
35 mit dem Register MIR vergleicht und bei Gleichheit beispiels- 
we i se eine Interrupt -Anf orderung generiert, der die Be- 
f ehlsausf uhrung nach der Zahl der durch das Register MIR vor- 
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gegeben Instruktionfen unterbricht und die CPU in einen ande- 
ren Betriebsmodus schaltet. In diesem Betriebsmodus wird bei- 
spielsweise geeigneter Microcode ausgefuhrt oder in eine In- 
terrupt Service Routine verzweigt oder per Hardware -Signal en 
5 das Erreichen dieses Synchronisationspunktes angezeigt. In 

diesem Betriebsmodus werden dann den redundanten CPUs die ex- 
ternen Ereignisse so prasentiert, daS nach dem Verlassen die- 
ses Betriebsmodus alle CPUs diese Ereignisse gleich bewerten 
konnen und somit in der Folge die gleichen Befehle ausfuhren 
10 werden. 

Beispielsweise verzweigt die CPU nach Erreichen der durch das 
Register MIR vorgegeben Anzahl von Maschineninstruktionen in 
eine Interrupt Service Routine, in welcher der Zustand von 
15 durch die beschriebene Hardware von der CPU f erngehaltenen 
Interrupt Signalen so abgefragt wird, daS eine redundante 
CPU, die ggf • diese Abfrage zu einem geringfugig spateren 
Zeitpunkt stellt, die identische Auskunft erhalt. 

2 0 Beim Verlassen des gesonderten Betriebsmodus wird der Zahler 
IC zuruckgesetzt . AnschlieSend wird zu der Programms telle zu- 
ruckgesprungen, an der die Unterbrechung durch das Erreichen 
des durch das Register MIR vorgegeben Zahlerwertes IC statt- 
gefunden hat. Danach wird die CPU wieder die durch das Regis- 

2 5 ter MIR vorgegebene Anzahl von Maschineninstruktionen ausfuh- 

ren und bei Erreichen des Registerwertes MIR durch Zahler IC 
den Mode wechseln und dadurch die Annahme von externen Ereig- 
nissen ermoglichen . 

30 Vorteilhaft sind die CPU-Register MIR so ausgebildet, daS sie 
durch Software oder Microcode beschreibbar sind, urn zu ge- 
wahrleisten, daS fur verschiedene Einsatzgebiete eine Inter- 
ruptbehandlung in adaquaten Intervallen stattfindet, indem 
entsprechend die Anzahl der auszuf uhrenden Instruktionen zwi- 

3 5 schen den Zeitfenstern fur die Interruptbehandlung festgelegt 

wird- 
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Pa t ent anspruche 

1. Verfahren zur Synchronisation externer Ereignisse, die ei- 

nem Baustein (CPU), zugefiihrt werden und diesen beeinflus- 
sen, wobei der Baustein (CPU) zur parallelen Abarbeitung 
von einer ersten Anzahl von Instruktionen vorgesehen ist, 

- demgemaS die externen Ereignisse zwischengespeichert wer- 
den, wobei die gespeicherten externen Ereignisse in einem 
gesonderten Betriebsmodus des Bausteins zur Verarbeitung 
durch zumindest eine Ausf uhrungseinheit (EU) des Bau- 
steins abgerufen werden und 

- wobei der Baustein in diesen Betriebsmodus nach Abarbei- 

tung einer vorgebbaren zweiten Anzahl (MIC) von Instruk- 
tionen eintritt, indem 

- ein Zahler (IC) die Anzahl der durch die Ausf uhrungsein- 
heit ausgefuhrten Instruktionen seit dem letzten Verlas- 
sen des gesonderten Betriebsmodus ermittelt, 

- der Baustein in einen Einzelbef ehlsausf uhrungsmodus ver- 

setzt wird, falls der Zahler (IC) groSer oder gleich der 
Differenz aus der zweiten Anzahl von Instruktionen und 
einer dritten Anzahl (MD) von Instruktionen, die aus der 
ersten Anzahl von Instruktionen ermittelt wird, ist, 

- der Baustein im Einzelbef ehlsausf uhrungsmodus verbleibt, 
bis der Zahler (IC) die zweite Anzahl (MIC) von Instruk- 
tionen erreicht, woraufhin der Baustein in den gesonder- 
ten Betriebsmodus wechselt und bei Verlassen des geson- 
derten Betriebsmodus der Zahler (IC) neu initialisiert 
wird. 

2. Verfahren nach Anspruch 1, 

dadurch gekennzeichnet, 

daft die dritte Anzahl von Instruktionen als gleich oder 
groSer der ersten Anzahl maximal parallel ausgefuhrter 
Instruktionen gewahlt wird. 

3. Verfahren nach einem der Anspruche 1 oder 2, 

dadurch gekennzeichnet, 
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daS in redundanten Systemen,, die zumindest zwei Bausteine 
(CPU) aufweisen, eine identische Folge von Instruktionen 
fur die Bausteine (CPU) vorgesehen ist und durch die Bau- 
steine im gesonderten Betriebsmodus identische externe 
Ereignisse abgerufen werden . 

4. Verfahren nach Anspruch 3, 

dadurch gekennzeichnet , 

daS ein schnellerer Baustein (CPU) durch eine Steuerung 
im gesonderten Betriebsmodus belassen wird, bis ein lang- 
samerer Baustein das Ende des gesonderten Betriebsmodus 
erreicht hat . 

5. Verfahren nach einem der Anspriiche 1 bis 4, 

dadurch gekennzeichnet , 

daS bei einer Uberwachung des Zahlers (IC) durch ein 
Uberwachungssof twaremodul die Anzahl der durch das Uber- 
wachungssof twaremodul verursachten ausgefiihrten Instruk- 
tionen gesondert erfaSt und vom Zahler (IC) subtrahiert 
wird. 

6. Prozessorbaustein (CPU), der zumindest folgendes aufweist: 

- mindestens eine Ausf iihrungseinheit (EU) , 

- mindestens ein Zahlerelement (IC) zum Zahlen der durch 
die Ausfiihrungseinheit ausgefiihrten Instruktionen seit 
dem letzten Wechsel in einen gesonderten Betriebsmodus, 

- mindestens ein Registerelement (MIR) , dessen Inhalt (MIC) 
durch Befehle vorgebbar oder fest vorgegeben ist, 

. mindestens ein Komparatorelement (K) und mindestens ein 
Steuerelement (S) zum Umschalten der Ausfiihrungseinheit 
(EU) in einen Einzelbef ehlsausf iihrungsmodus ansprechend 
auf das Erreichen eines vorgebbaren Wertes, der kleiner 
als der Wert des Registerelementes (MIR) ist, durch das 
Zahlelement (IC) , und zum Umschalten der Ausfiihrungsein- 
heit in den gesonderten Betriebsmodus ansprechend auf die 
Ubereinstimmung des Zahlelementes (IC) mit dem Register- 
element (MIR) , wobei in dem gesonderten Betriebsmodus 
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zwischengespeicherte, dem Prozessorbaustein (CPU) zuzu- 
fuhrende externe Ereignisse, die den Prozessorbaustein 
(CPU) beeinflussen, durch den Prozessorbaustein (CPU) ab- 
gerufen werden. 

7. System bestehend aus mindestens zwei Prozessorbausteinen 

(CPUO, CPU1) , die jeweils zumindest folgendes aufweisen: 

- mindestens eine Ausf iihrungseinheit (EU) , 

- mindestens ein Zahlerelement (IC) zum Zahlen der durch 
die Ausfuhrungseinheit ausgefuhrten Instruktionen seit 
dem letzten Wechsel in den gesonderten Betriebsmodus, 

. mindestens ein Registerelement (MIR) , dessen Inhalt durch 
Befehle vorgebbar oder fest vorgegeben ist, 

- mindestens ein Komparatorelement (K) und mindestens ein 

Steuerelement (S) zum Umschalten der Ausf lihrungseinheit 
(EU) in einen Einzelbef ehlsausf uhrungsmodus ansprechend 
auf das Erreichen eines vorgebbaren Wertes, der kleiner 
als der Wert des Registerelementes (MIR) ist, durch das 
Zahlelement (IC) , und zum Umschalten der Ausf lihrungsein- 
heit (EU) in einen gesonderten Betriebsmodus ansprechend 
auf die Ubereinstimmung des Zahlelementes (IC) mit dem 
Registerelement (MIR) , wobei in dem gesonderten Betriebs- 
modus zwischengespeicherte, den Prozessorbausteinen zuzu- 
fiihrende externe Ereignisse, welche die Prozessorbaustei- 
ne beeinf lussen, durch die Prozessorbausteine abgerufen 
werden . 

8. System nach Anspruch 7, das zusatzlich eine Verbindung 

(L0, LI) zwischen zumindest zwei der Prozessorbausteine 
(CPU) , die eine identische Instruktionsf olge ausfuhren, 
aufweist, wobei die Verbindung zum Ubertragen von Syn- 
chronisationsinf ormationen der gesonderten Betriebsmodi 
vorgesehen ist . 
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